#hybrid architecture - AI Papers Daily

Daedalus-150M: A Convolution-Attention Hybrid Designed for CPU Inference

Daedalus-150M：专为 CPU 推理设计的卷积-注意力混合模型

🧭 高效小型 LLM 架构 · 卷积-注意力混合

用 12 个短卷积层替代多数注意力层，在 CPU 长文本解码时实现 1.76 倍加速且质量不降

📌 工作参考价值（4 点）

对于需要在 CPU 或端侧低延迟推理的轻量级模型（如端侧 query 建议、实时 push 文案生成、边缘排序模型），可以尝试用短卷积替代大部分注意力层，减少 KV cache 读取；在长上下文时加速显著，适合长 prompt 或长序列用户行为建模。
目标驱动的架构设计：先固定部署环境（单用户、4-bit、普通 CPU），再反向选择模型结构，比“先设计大模型再压缩”更高效；推荐系统在边缘部署小模型时可复用这一思路。
在模型选型时采用预先注册对照实验：固定训练数据和模型尺寸，比较不同架构，并事前确定胜利指标，避免事后挑选；业务团队做架构升级时值得借鉴。
注意其报告的负面结果：4-bit 量化有不可忽视的质量损失，部分卷积通道实为冗余且难以修剪，词汇表不宜大于模型规模所需；这些小模型工程细节可直接避免踩坑。

LLM | 2026-08-20 | cs.LG | score 6/10

Chimera：混合视觉扩散 Transformer 的设计与 Chinchilla 缩放

🧭 视觉扩散模型的架构与缩放规律

Adobe Research

提出混合扩散 Transformer 及异配缩放规则，在图像/视频生成中实现 7.3× 计算效率提升与 30 秒零样本长度外推

📌 工作参考价值（5 点）

长上下文高效建模方案可迁移：Kimi Delta Attention (KDA) 实现 O(N) 复杂度的全局状态跟踪，可用于电商场景中长序列用户行为建模或长视频推荐，降低注意力成本。
多模态统一流处理：将文本、图像、视频 token 按光栅顺序混合，无需位置编码，可直接借鉴到电商多模态商品描述（图文视频）的统一表征中，简化预处理流程。
MoE 稀疏活化策略：稀疏 MoE 层在增大模型容量的同时控制激活参数量，适合推荐大模型（如生成式推荐）的扩展，可平衡效果与推理时延。
异构架构的模块化缩放（HeteroP）：根据张量功能扇入与深度动态分配宽度/深度参数，为推荐模型的不同模块（特征交互、序列建模等）提供差异化缩放指导，避免均匀缩放浪费。
计算最优数据配比洞察：图像预训练中激活参数量与训练 token 数近乎均分算力，视频则略偏向参数量——可为多模态推荐模型的训练预算分配提供参考。

Training | 2026-07-29 | HF Daily | score 7/10